Phêrô Huỳnh Văn Hai sinh ngày 18 tháng 5 năm 1954 tại họ đạo Thạnh Phú, nay thuộc thị trấn Thạnh Phú, huyện Thạnh Phú, tỉnh Bến Tre, thuộc giáo phận Vĩnh Long[5][6] trong một gia đình đông con, chỉ có thân mẫu là giáo dân Công giáo.[7]

Con đường tu trì của cậu Hai bắt đầu vào ngày 1 tháng 6 năm 1966, khi cậu được cho nhập học tại Tiểu chủng viện Vĩnh Long. Sau khoảng thời gian sáu năm được đào tạo tại Tiểu chủng viện, ngày 1 tháng 8 năm 1973, chủng sinh Hai tiếp tục con đường tu trì bằng việc nhập học Đại chủng viện Xuân Bích Vĩnh Long.[8]

Trong thời gian học tại Đại chủng viện, chủng sinh Huỳnh Văn Hai lần lượt lãnh các tác vụ (còn gọi là chức nhỏ): đọc sách (ngày 8 tháng 8 năm 1977),[5][8] Giúp lễ (ngày 7 tháng 5 năm 1978).[8] Sau đó, chủng sinh Hai về sống cùng gia đình.[6] Trong thời gian gián đoạn việc tu học và trở về sinh sinh sống cùng gia đình, chủng sinh Hai làm ruộng và chăn vịt,[2] đồng thời nhận làm thư ký cho các hợp tác xã vì biết chữ.[7] Việc tu học phụ thuộc vào tính tự giác của chủng sinh do giáo xứ không có linh mục thường trú.[2] Chủng sinh Hai thường nhờ sự hỗ trợ của chủng sinh Phạm Văn Don (hiện là linh mục Tađêô Phạm Văn Don, Giám đốc Caritas giáo phận Vĩnh Long) mua giúp các sách báo về Giáo hội Công giáo và ngoại ngữ để tự học.[7] Từng nhiều lần tâm sự về khoảng thời gian chăn vịt của mình, Huỳnh Văn Hai khi trở thành giám mục tự gọi mình là một Đức Cha chăn vịt (Giám mục chăn vịt).[9]

Sau mười ba năm gián đoạn việc tu trì, năm 1991, chủng sinh Huỳnh Văn Hai trở về chủng viện, tiếp tục việc học tại Chủng viện Vĩnh Long[6] đến ngày 13 tháng 9 thì trở thành ứng viên Phó tế. Hai năm sau, ngày 6 tháng 1, ông được phong chức Phó tế bởi Giám mục Raphael Nguyễn Văn Diệp.[8]